地球天文台是一个不断增长的研究领域,可以在短时间预测(即现在的情况下)利用AI的力量。在这项工作中,我们使用视频变压器网络应对天气预报的挑战。视觉变压器体系结构已在各种应用中进行了探索,主要限制是注意力的计算复杂性和饥饿的培训。为了解决这些问题,我们建议使用视频Swin-Transformer,再加上专用的增强计划。此外,我们在编码器侧采用逐渐的空间减少,并在解码器上进行了交叉注意。在Weather4cast2021天气预报挑战数据中测试了建议的方法,该数据需要从每小时的天气产品序列预测未来的8小时(每小时4个小时)。将数据集归一化为0-1,以促进使用不同数据集的评估指标。该模型在提供训练数据时会导致MSE得分为0.4750,在不使用培训数据的情况下转移学习过程中为0.4420。
translated by 谷歌翻译
Deep neural networks (DNNs) are vulnerable to a class of attacks called "backdoor attacks", which create an association between a backdoor trigger and a target label the attacker is interested in exploiting. A backdoored DNN performs well on clean test images, yet persistently predicts an attacker-defined label for any sample in the presence of the backdoor trigger. Although backdoor attacks have been extensively studied in the image domain, there are very few works that explore such attacks in the video domain, and they tend to conclude that image backdoor attacks are less effective in the video domain. In this work, we revisit the traditional backdoor threat model and incorporate additional video-related aspects to that model. We show that poisoned-label image backdoor attacks could be extended temporally in two ways, statically and dynamically, leading to highly effective attacks in the video domain. In addition, we explore natural video backdoors to highlight the seriousness of this vulnerability in the video domain. And, for the first time, we study multi-modal (audiovisual) backdoor attacks against video action recognition models, where we show that attacking a single modality is enough for achieving a high attack success rate.
translated by 谷歌翻译
Pneumonia, a respiratory infection brought on by bacteria or viruses, affects a large number of people, especially in developing and impoverished countries where high levels of pollution, unclean living conditions, and overcrowding are frequently observed, along with insufficient medical infrastructure. Pleural effusion, a condition in which fluids fill the lung and complicate breathing, is brought on by pneumonia. Early detection of pneumonia is essential for ensuring curative care and boosting survival rates. The approach most usually used to diagnose pneumonia is chest X-ray imaging. The purpose of this work is to develop a method for the automatic diagnosis of bacterial and viral pneumonia in digital x-ray pictures. This article first presents the authors' technique, and then gives a comprehensive report on recent developments in the field of reliable diagnosis of pneumonia. In this study, here tuned a state-of-the-art deep convolutional neural network to classify plant diseases based on images and tested its performance. Deep learning architecture is compared empirically. VGG19, ResNet with 152v2, Resnext101, Seresnet152, Mobilenettv2, and DenseNet with 201 layers are among the architectures tested. Experiment data consists of two groups, sick and healthy X-ray pictures. To take appropriate action against plant diseases as soon as possible, rapid disease identification models are preferred. DenseNet201 has shown no overfitting or performance degradation in our experiments, and its accuracy tends to increase as the number of epochs increases. Further, DenseNet201 achieves state-of-the-art performance with a significantly a smaller number of parameters and within a reasonable computing time. This architecture outperforms the competition in terms of testing accuracy, scoring 95%. Each architecture was trained using Keras, using Theano as the backend.
translated by 谷歌翻译
由于计算机视觉的最新进展,流量视频数据已成为限制交通拥堵状况的关键因素。这项工作为使用颜色编码方案提供了一种独特的技术,用于在深度卷积神经网络中训练流量数据之前。首先,将视频数据转换为图像数据集。然后,使用您只看一次算法进行车辆检测。已经采用了颜色编码的方案将图像数据集转换为二进制图像数据集。这些二进制图像被馈送到深度卷积神经网络中。使用UCSD数据集,我们获得了98.2%的分类精度。
translated by 谷歌翻译
使用图神经网络(GNN)的节点分类已在各种现实世界中广泛应用。但是,近年来,有令人信服的证据表明,基于GNN的淋巴结分类的性能可能会因拓扑扰动(例如随机连接或对抗性攻击)而大大恶化。已经提出了各种解决方案,例如拓扑降解方法和机理设计方法,以开发出强大的GNN基于GNN的节点分类器,但是这些作品都无法完全解决与拓扑扰动有关的问题。最近,提出了贝叶斯标签过渡模型来解决此问题,但其缓慢的收敛性可能导致劣等性能。在这项工作中,我们提出了一种新的标签推理模型,即林德(Lindt),该模型同时整合了贝叶斯标签过渡和基于拓扑的标签传播,以改善GNN对拓扑扰动的鲁棒性。 Lindt优于现有标签过渡方法,因为它通过利用基于邻里的标签传播来改善不确定节点的标签预测,从而可以更好地收敛标签推理。此外,Lindt采用不对称的Dirichlet分布作为先验,这也有助于改善标签推理。在五个图数据集上进行的广泛实验证明了Lindt在拓扑扰动的三种情况下对基于GNN的节点分类的优越性。
translated by 谷歌翻译
知识图,例如Wikidata,包括结构和文本知识,以表示知识。对于图形嵌入和语言模型的两种方式中的每种方法都可以学习预测新型结构知识的模式。很少有方法与模式结合学习和推断,而这些现有的方法只能部分利用结构和文本知识的相互作用。在我们的方法中,我们以单个方式的现有强烈表示为基础,并使用超复杂代数来表示(i),(i),单模式嵌入以及(ii),不同方式之间的相互作用及其互补的知识表示手段。更具体地说,我们建议4D超复合数的二脑和四个元素表示,以整合四个模态,即结构知识图形嵌入,单词级表示(例如\ word2vec,fastText,fastText),句子级表示(句子transformer)和文档级表示(句子级别)(句子级别)(句子级表示)(句子变压器,doc2vec)。我们的统一矢量表示通过汉密尔顿和二脑产物进行标记的边缘的合理性,从而对不同模态之间的成对相互作用进行建模。对标准基准数据集的广泛实验评估显示了我们两个新模型的优越性,除了稀疏的结构知识外,还可以提高链接预测任务中的性能。
translated by 谷歌翻译
由于对不同部门的电子芯片的需求不断增长,因此,半导体公司被授权离岸其制造流程。这一不必要的事情使他们对筹码的筹码有关,并引起了硬件攻击的创造。在这种情况下,半导体供应链中的不同实体可以恶意行事,并对从设备到系统的设计计算层进行攻击。我们的攻击是一个硬件特洛伊木马,在不受信任的铸造厂中插入了在面具的生成/制造过程中。特洛伊木马在制造,通过添加,删除或设计单元的变化中留下了脚印。为了解决这个问题,我们在这项工作中提出了可解释的视觉系统,用于硬件测试和保证(EVHA),可以检测以低成本,准确和快速的方式对设计的最小变化。该系统的输入是从正在检查的集成电路(IC)中获取的扫描电子显微镜(SEM)图像。系统输出是通过添加,删除或在单元格级的设计单元格中使用任何缺陷和/或硬件木马来确定IC状态。本文概述了我们的防御系统的设计,开发,实施和分析。
translated by 谷歌翻译
PointNet ++是Point Cloud理解的最具影响力的神经体系结构之一。尽管PointNet ++的准确性在很大程度上已经超过了诸如PointMLP和Point Transformer之类的最近网络,但我们发现,大部分性能增益是由于改进的培训策略,即数据增强和优化技术,而不是架构大小,而不是架构的大小,而不是架构。创新。因此,PointNet ++的全部潜力尚未探索。在这项工作中,我们通过对模型培训和缩放策略进行系统的研究来重新审视经典的PointNet ++,并提供两个主要贡献。首先,我们提出了一组改进的培训策略,可显着提高PointNet ++的性能。例如,我们表明,如果没有任何架构的任何变化,则可以将ScanObjectnn对象分类的PointNet ++的总体准确性(OA)从77.9 \%\%提高到86.1 \%,即使超过了最先进的端点”。其次,我们将倒置的残留瓶颈设计和可分离的MLP引入到PointNet ++中,以实现高效且有效的模型缩放,并提出了PointNext,即PointNets的下一个版本。可以在3D分类和分割任务上灵活地扩展PointNext,并优于最先进的方法。对于分类,PointNext的总体准确度为ScanObjectnn $ 87.7 \%$,超过了PointMLP $ 2.3 \%$,而推断的$ 10 \ times $ $。对于语义细分,PointNext建立了新的最先进的性能,$ 74.9 \%$ MEAN IOU在S3DIS上(6倍交叉验证),优于最近的Point Transformer。代码和型号可在https://github.com/guochengqian/pointNext上获得。
translated by 谷歌翻译
知识图嵌入模型已成为机器学习的重要领域。这些模型在知识图中提供了实体和关系的潜在表示,然后可以在下游机器学习任务(例如链接预测)中使用。这些模型的学习过程可以通过对比正面和负三元组来执行。虽然所有千克的三元组都被认为是正的,但负三元三联通常不容易获得。因此,获得的采样方法的选择在知识图嵌入模型的性能和有效性中起着至关重要的作用。当前的大多数方法从基础知识图中实体的随机分布中获取负面样本,这些样本通常还包括毫无意义的三元组。其他已知方法使用对抗技术或生成神经网络,从而降低了过程的效率。在本文中,我们提出了一种方法,以产生有关实体的可用互补知识的信息负面样本。特别是,预训练的语言模型用于通过利用实体之间的距离来形成邻里群集,以通过其文本信息获得符号实体的表示。我们的全面评估证明了拟议方法在基准知识图上具有链接预测任务的文本信息的有效性。
translated by 谷歌翻译
异构信息网络(HIN)捕获各种实体之间的复杂关系,并已广泛用于提高各种数据挖掘任务的有效性,例如在推荐系统中。许多现有的文欣推荐算法利用手工制作的元路径来提取来自网络的语义信息。这些算法依赖于广泛的域知识,可以选择最佳的元路径集。对于HIN与众多节点和链路类型高度复杂的应用程序,手工制作方法的方法太繁琐,并且容易出错。为了解决这个问题,我们提出了基于加强学习的元路径选择(RMS)框架,以选择有效的元路径,并将它们包含在现有的基于元路径的推荐中。为了识别高质量的元路径,RMS列举了基于加强学习(RL)的策略网络(代理),从而从下游推荐任务的性能获取奖励。我们设计一个基于HIN的推荐模型,HREC,有效地使用元路径信息。我们将HREC与RMS进行了整合并导出了我们的推荐解决方案,RMS-HREC,它自动使用有效的元路径。实验对实时数据集表明,我们的算法通过自动捕获重要元路径,可以显着提高推荐模型的性能。
translated by 谷歌翻译